معرفی سرویس ها و ابزار های موتور های جستجو برای ایندکس شدن وب سایت


معرفی سرویس ها و ابزار های موتور های جستجو

سئو از ابزار های زیادی استفاده می‌کند. برخی‌ از کارامد ترین آنها توسط خود موتور های جستجو فراهم شده ا‌ند. موتور های جستجو از وب مستر ها می‌ خواهند تا سایت ها و محتویات را به گونه ای که در دسترس باشد ایجاد کنند، تا آنها نیز بتوانند ابزار ها ، علم تحلیل و راهنمایی های گوناگونی را فراهم کنند. این منابع رایگان ، نقاط اطلاعاتی‌ و فرصت هایی‌ را برای مبادله اطلاعات با موتور هایی‌ که این ابزار ها را فراهم نکرده اند، پدید می‌ آورند.
در ادامه ، عناصر رایجی را که هر یک از موتور های جستجوی معتبر حمایت و شناسایی می‌ کنند را توضیح خواهیم داد و علت فواید شان را نیز بررسی‌ خواهیم کرد.

پروتکل های رایج موتور های جستجو

۱.نقشه سایت
نقشه سایت را همچون لیستی از فایل ها در نظر بگیرید که با راهنمایی ها ، به موتور های جستجو می‌ گوید که چگونه سایت را کرال کند. نقشه سایت ، به موتور های جستجو کمک می‌ کند تا محتویات موجود در سایت شما را که با سیستم های خودشان نتوانستند پیدا کنند، بیبند و طبقه بندی کنند. نقشه های سایت در فرمت های مختلف وجود دارند و می‌ توانند خیلی‌ از محتویات مختلف سایت شما را از قبیل ویدئو ها ، تصاویر ، اخبار و موبایل را پر رنگ نمایند.
می‌ توانید جزییات کامل پروتکل ها را در سایت Sitemaps.org بیابید. همچنین می‌ توانید نقش سایت خودتان را در سایت XML-Sitemaps.com بسازید.
نقشه های سایت در ۳ نوع هستند:

XML
کوتاه شده عبارت Extensible Markup Language (فرمت توصیه شده)
فواید: این ، گسترده ترین و قابل قبول ترین فرمت برای نقش سایت است. برای موتور های جستجو بسیار راحت بوده، و توسط تعداد زیادی از نرم افزار های تولید کننده نقش سایت تولید شود. علاوه بر آن، امکان بیشترین کنترل ذره ای پارامتر های صفحه را می‌ دهد.
معایب: حجم فایل های نسبتا بالایی دارند. از آنجایی که XML نیازمند تاگ های باز و بسته در اطراف هر المان ش است، حجم این فایل ممکن است خیلی‌ زیاد شود.

RSS
تشکیلات واقعا ساده ، یا خلاصه ای غنی از سایت
فواید: حفظ کردنش راحت است. نقش های سایت RSS هنگام بروز رسانی مطالب می‌ توانند به صورت خودکار کد شوند.
معایب: مدیریت نسبتا سخت. اگرچه RSS هم نسخه ای از XML است ، ولی‌ واقعا کنترل آن در قبل بروز رسانی مطالب مشکل است.

Txt
فایل های متنی
فواید: فوق‌العاده آسان. فرمت نقش سایت متنی، از یک URL در خط تا پنجاه هزار خط می‌ رسد.
معایب: امکان افزودن متا دیتا را به صفحات نمی‌ دهد.

۲ .Robots.txt

فایل های متنی روبات ، محصولی از Robots Exclusion Protocol هستند ، فایلی که در مسیر دیرکتری وب سایت ذخیره می‌ شود. مثال: www.google.com/robots.txt فایل های متنی روبات ، دستور العمل هایی‌ را به کرال کننده ها و اسپایدر ها می‌ دهند.
با استفاده از فایل های متنی روبات ، وب مستر ها می‌ توانند به موتور های جستجو نشان دهند چه قسمت از سایت نیاز به کرال شدن و چه قسمتی‌ نیاز ندارد. شما می‌ توانید برای کسب مطالب بیشتر در جزییات به لینک زیر مراجعه کنید:
www.moz.com/learn-seo/robotstxt
دستورات زیر نیز در دسترس است :
Disallow
از دسترسی‌ روبات ها به پوشه های خاصی‌ در صفحه جلو گیری می‌ کند.
Sitemap
موقعیت نقشه یا نقشه های سایت را نشان می‌ دهد.
Crawl Delay
سرعتی که هر روبات می‌ تواند یک سرور را کرال کند به میلی‌ ثانیه نشان می‌ دهد.

مثالی برای روبات های متنی


اخطار: همه ی روبات های اینترنتی از فایل های متنی روبات پیروی نمی‌ کنند. افرادی با مقاصد غیر اخلاقی‌ ،(مثل اسکرپر آدرس های ایمیل) روبات هایی‌ را می‌ سازند که ، از این پروتکل ها پیروی نکرده ، و در موارد افراطی ، می‌ توانند از آنها جهت شناسایی مسیر اطلاعات خصوصی استفاده کنند. به همین دلیل ، توصیه می‌ شود ، محل قرار گرفتن فایل های آدمین و دیگر فایل های اختصاصی شامل محتوای فایل های متنی روبات ، نشود. در عوض ، این صفحات می‌ توانند از این متا تاگ های روبات استفاده کنند تا از شاخص گذاری محتوای خطرناک به وسیله موتور های جستجو ، جلوگیری کنند.

۳. متا روبات ها
تاگ های متا روبات دستورالعمل هایی‌ در سطح یه صفحه وب برای روبات های موتور جستجو ایجاد می‌ کنند.
تاگ متا روبات باید در قسمت head صفحات HTML قرار بگیرد.
مثالی از متا روبات ها


در مثال بالا ، “NOINDEX, NOFOLLOW” به روبات ها می‌ گوید که صفحه ی حاضر را شاخص گذاری نکنند ، و همچنین از هیچ یک از لینک های موجود در صفحه پیروی نکنند.

۴. Rel="Nofollow"

آیا به خاطر دارید که لینک ها چگونه نقش رای را ایفا می‌ کردند؟ مشخصه Rel="Nofollow" این امکان را به شما می‌ دهد که حین حذف رای تان برای اهداف موتور های جستجو ، با یک منبع دلخواه نیز ارتباط برقرار کنید. "nofollow"  به موتور جستجو می‌ فهمند که از لینک خاص پیروی نکند، اما گاهی موتور های جستجو برای کشف صفحات جدید این کار را می‌ کنند. این لینک ها ارزش کمتری نسبت به لینک های پیرو شان عبور می‌ دهند، اما در موقعیت های مختلفی‌ که به منبع نه معتبر لینک می‌ کنید، کاربرد دارند.

مثالی از nofollow                                                                                       

 

در مثال بالا ، ارزش لینک ، به example.com فرستاده نمی‌ شود زیرا مشخصه rel=nofollow به آن افزود شده است.

۵ . Rel="canonical"
اغلب ، اتفاق می‌ افتد که ۲ یا بیش از چند کپی‌ از محتوای یکسان از سایت شما در آدرس های مختلف ظاهر می‌ شود. به عنوان مثال تمام آدرس های زیر به یک صفحه “خانه” مشابه ارجاع می‌ کنند.

http://www.example.com/
http://www.example.com/default.asp
http://example.com/
http://example.com/default.asp
http://Example.com/Default.asp

این آدرس ها ، به عنوان ۵ صفحه مختلف نزد موتور های جستجو ظاهر می‌ شوند. به خاطر محتویات یکسان در هر صفحه ، می‌ تواند باعث شود موتور های جستجو از ارزش محتوا و رنکینگ شما کم کنند.
مثالی از rel="canonical" برای URL


در مثال بالا ، rel=canonical به موتور های جستجو می‌ گوید که این صفحه کپی‌ از آدرس http://www.example.com است و باید آن را به عنوان آدرسی استاندارد (کانونیکال ) در نظر بگیرد.


ابزار های موتور های جستجو
ابزار های وب مستر گوگل - معروف ترین ویژگی‌ های آن
http://www.google.com/webmasters/tools

تنظیمات-Settings

اهداف جغرافیایی -Geographic Target

اگر سایتی هدفش اشخاص ساکن منطقه ای خاص هستند، وب مستر ها می‌ توانند اطلاعاتی را برای گوگل فراهم کنند تا این موتور جستجو بتواند چگونگی‌ نمایش سایت های مختص یک کشور را در فهرست نتایجش تعیین کند، این حرکت همچنین نتایج ورودی های جغرافیایی را نیز بهبود می‌ بخشد.

دامنه برتر - Preferred Domain
دامنه برتر ، دامنه ایست که یک وب مستر آن را برای شخص گذاری صفحات سایت شان مایل است استفاده کند. اگر وب مستری دامنه برترش را مثل http://www.example.com مشخص کند و گوگل لینکی‌ به سایتی با فرمتی مثل http://example.com بیابد، گوگل با این لینک طوری برخورد می‌ کند که گویی به http://www.example.com اشاره می‌ شود.

پارامتر های URL -URL Parameters
شما می‌ توانید اطلاعاتی‌ را از هر پارامتر موجود در سایت تان به گوگل نشان دهید، مانند: "sort=price" و "sessionid=2". این امر باعث می‌ شود تا گوگل سایت تان را با کیفیت بیشتر کرال کند، و از پارامتر هایی‌ که تولید محتوای مشابه می‌ کنند و تعداد صفحات خاصی‌ را که گوگل می‌ تواند در سایت تان کرال کند را افزایش می‌ دهند را ندیده بگیرد.

کرال ریت - Crawl Rate
میزان کرال بر سرعت درخواست های روبات های گوگل در فرایند کرالینگ تاثیر می‌ گزارد. اما تاثیری بر چگونگی‌ کرال کردن روبات ها از سایت ، ندارد. گوگل ریت توصیه شده را بر پایه تعداد صفحات موجور در یک وب سایت ، تعیین می‌ کند.

عیب یابی‌ - Diagnostics

بد افزار ها-Malwares
گوگل در صورت یافتن بد افزار در سایت ، شما را از این مشکل مطلع می‌ کند. بد افزار نه تنها برای کاربران زیان آور است، بلکه به شدت بر روی رنکینگ سایت شما نیز تاثیر گذار خواهد بود.

خطا های کرال Crawl Errors
در صورتی‌ که روبات های گوگل حین کرال کردن سایت شما با خطا های جدی مواجه شوند، مثل خطا های 404 آنها را شناسایی کرده و گزارش می‌ دهد در کدام آدرس آن را یافت است.

پیشنهاد های HTML - HTML Suggestions
این تحلیل المان های نامناسب برای موتور های جستجو را شناسایی می‌ کند. خصوصا ، مشکلات لینک های توصیفی متا ، تاگ عنوان و محتویات غیر قابل شاخص گذاری را لیست می‌ کند.

سایت شما در وب
این آمار ها بینش خاصی‌ را برای سئو کردن به شما می‌ دهند، زیرا این آمار تاثیر کلمات کلیدی ، میزان ورود به سایت شما از طریق کلیک ، نمایش رتبه سایت شما پس از جستجو ، و آمار لینکی‌ را گزارش می‌ دهد. توجه داشته باشید ، که خیلی‌ از متخصصین سئو از ناتمام بودن ابزار های وب مستر گوگل شکایت داشته ا‌ند و می‌ گویند که این برنامه در بهترین حالت هم تخمین های تقریبی می‌ زند.

تنظیمات سایت
این قسمت مهم ، این امکان را به شما می‌ دهد تا نقشه سایت را ارائه دهید، فایل های متنی روبات را تست کنید، لینک های سایت را مراتب کنید، و هنگامی که سایت تان را از دامنه ای به دامنه دیگر منتقل می‌ کنید ، تغییرات درخواست های آدرس را ارائه نمائید. این بخش همچنین شامل "Settings" و "URL parameters" نیز می‌ شود که پیش تر در مورد شان صحبت شد.

متریک +۱
هنگامی که کاربران ، مطالب شما را در گوگل پلاس با کلید ۱+ به اشتراک می‌ گذارند ، این حرکت در نتایج جستجو، توضیحات تحلیلی ثبت می‌ کند. در این بخش ابزار وب مستر گوگل ، تاثیرات اشتراک گذاری های ۱+ را بر کارایی سایت شما در نتایج جستجو، گزارش می‌ دهد.

Labs
قسمت Labs از ابزار وب مستر گوگل، گزارش می‌ دهد که گوگل همچنان در مرحله آزمایشی‌ است ، ولی‌ به هرحال برای وب مستر ها اهمیت دارد. یکی‌ از مهمترین گزارش های این قسمت ، کارایی سایت است که نشان می‌ دهد سایت شما با چه صورتی‌ بازدید کنندگان را بار گذاری می‌ کند.
برای ثبت نام در ابزار وب مستر گوگل به آدرس زیر مراجعه کنید:
http://www.google.com/webmasters/

مرکز وب مستر بینگ
http://www.bing.com/webmaster

ویژگی‌ های کلیدی
مرور کلی‌ سایت ها - Sites Overview
این برنامه میانجی ، مروری از تمام کارایی های سایت شما را در نتایج جستجو انجام شده توسط بینگ را فراهم می‌ کند. متریک های لحظه ای آن که شامل ، کلیک ها ، نشانه گذاری ها ، تعداد صفحات شاخص گذاری شده و کرال شده ، می‌ شود.

آمار کرال - Crawl Stats
در این قسمت می‌ توانید گزارشی از تعداد صفحاتی را که بینگ در سایت شما کرال کرده و با چه خطا هایی‌ مواجه شده را مشاهده کنید. همانند وب مستر گوگل، می‌ توانید همچنین نقشه سایت را به بینگ ارائه دهید تا این موتور بتواند محتوای شما را بهتر کشف و اولویت بندی کند.

شاخص - Index
این قسمت این امکان را به وب مستر می‌ دهد تا چگونگی‌ شاخص گذاری بینگ از صفحات را مشاهده کرده و حتی به آن یاری رسانید. مجددا همانند منوی تنظیمات ابزار وب مستر گوگل ، در این قسمت می‌ توانید ، چگونگی بهینه سازی محتویات تان را با بینگ مشاهده کنید، آدرس ها یتان را ارائه دهید، آدرس هایی‌ را از نتایج جستجو حذف کنید، لینک های وارد شونده را بررسی‌ کنید و تنظیمات پارامتر را مراتب کنید.

ترافیک - Traffic
خلاصه ترافیک در وب مستر بینگ ، نشانه گذاری ها و داده های ورودی از طریق کلیک را با ترکیب اطلاعات از فهرست نتایج جستجو بینگ و یاهو را گزارش می‌ دهد. گزارش ها در اینجا ، جایگاه متوسط سایت و هزینه های شما را در صورت تمایل به خرید تبلیغات های هدف دار کلمات کلیدی ، نشان می‌ دهد.
در صورت تمایل به ثبت نام در این وب مستر و استفاده از ابزار بینگ به لینک زیر مراجعه کنید: http://www.bing.com/webmaster/

پوینده SEOmoz
این پوینده با اینکه توسط هیچ موتور جستجویی اداره نمیشود، اما اطلاعات مشابه را فراهم می‌ کند. http://www.opensiteexplorer.org/

ویژگی‌ ها
شناسایی لینک های قدرتمند - این برنامه تمام لینک های ورودی سایت شما را با متریک هایی‌ که تعیین می‌ کنند کدام لینک ها از همه مهم تر هستند، مراتب می‌ کند.
یافتن قویترین دامنه ارتباطی‌ - این ابزار قویترین دامنه هایی‌ را که به دامنه شما لینک می‌ کند را نشان می‌ دهد.
تحلیل پراکندگی لینک های متنی انکر - این برنامه پراکندگی متونی را که مردم برای ارتباط با شما استفاده کردند را نشان می‌ دهد.
نمایش مقایسه رو در رو - این ویژگی‌ امکان مقایسه دو وب سایت را به شما می‌ دهد تا بفهمید چرا یکی‌ از آنها در حل کسب رنکینگ بالا تری نسبت به دیگری است.

متریک های اشتراک های اجتماعی
در این قسمت به اندازگیری اشتراک های فیسبوک ، لایک ها ، تویت ها ، و ۱+ های هر آدرس می‌ پردازد.
برای کسب اطلاعات بیشتر به سایت زیر مراجعه کنید:
http://www.opensiteexplorer.org/

موتور های جستجو ، به تازگی شروع به فراهم کردن ابزار هایی‌ برای وب مستر ها کرده ا‌ند تا در بهبود نتایج جستجو ، به آنها کمک کرده باشند. این گام بلندی در روابط میان سئو کاران و وب مستر ها و موتور های جستجو است. به بیان دیگر، موتور ها تنها با کمک وب مستر ها پیشرفت می‌ کنند. این مساله امروز صدق می‌ کند، و همینطور احتمال می‌ رود که در آینده نیز چنین بشد، که مسئولیت پذیری نهایی برای سئو ، در قبال فعالیت بازاریابان و وب مستر هاست.
به همین دلیل، یادگیری سئو برای شما حائز اهمیت است.